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Samenvatting 

De commissie Van Beek adviseert de invoering van een stemprinter waarmee de 
kiezer een keuze maakt voor een verkiezing en die de keuze print op een stembiljet. 
Het belangrijkste argument om de stemprinter in te voeren is het vergroten van de 
toegankelijkheid voor de kiezer (meer kiezers zouden dan zelfstandig kunnen stem¬ 
men). Daarnaast adviseert de commissie om een stemmenteller in te voeren om de 
papieren stembiljetten elektronisch te tellen. Het argument voor elektronisch tellen 
is dat het tellen dan sneller en waarschijnlijk nauwkeuriger zal kunnen verlopen dan 
het handmatig tellen van de stembiljetten. 

De commissie wil dat de stemmenteller functioneel goed werkt en ook goed be¬ 
veiligd is. Daarvoor heeft de commissie eisen geformuleerd. De commissie is echter 
van mening dat het niet voldoende is om te vertrouwen op die eisen. De commissie 
is van mening dat een controle op de juistheid van de elektronisch getelde stem¬ 
men onontbeerlijk is om vertrouwen te kunnen hebben op de juiste werking van de 
stemmenteller. 

In deze notitie stellen we een Controllerende Toevalssteekproef voor die per stem¬ 
menteller een aantal stembiljetten en geregistreerde elektronische stemmen checkt of 
ze kloppen. We laten zien hoe de steekproefgrootte en acceptatiegrenzen het mo¬ 
gelijk maken om iedere foutenmarge met ieder gewenste betrouwbaarheid te kunnen 
detecteren. Afhankelijk van de eisen die gesteld worden, worden er per stemmenteller 
een specifiek aantal stemmen handmatig gecontrolleerd. Worden er geen afwijkingen 
gevonden, dan wordt de uitkomst van de elektronische stemmenteller overgenomen. 
Worden er een of meer afwijkingen gevonden, dan wordt de stembus handmatig ge¬ 
teld. 
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g£Een voorbeeld van de controlerende steekproef in actie 

We beginnen dit stuk met een mogelijk scenario van de statistische toets in actie. 
Hiermee kan de impact van bepaalde begrippen worden gezien in een realistische 
context. De keuzes t.a.v. de statistische zekerheden die gemaakt worden, zijn slechts 
als voorbeeld bedoeld. 

Stel, er wordt besloten om aan een individuele stemmenteller een foutenmarge van 
3% toe te staan. Bovendien, als een stemmenteller een foutenmarge heeft die groter 
is dan 3%, dan moet dit met 95% betrouwbaarheid worden opgespoord. Op basis 
van deze twee getallen wordt er een steekproefgrootte van 50 voor de Controlerende 
Toets berekend (zie tabel 1): dit bestaat uit een controle van 50 stembiljetten en 
50 stemregistraties. Via een randomiserend apparaat worden in totaal 100 controles 
uitgevoerd, bestaande uit het controleren op het bestaan en juistheid van 50 biljetten 
die elektronisch zijn geregistreerd, en het controleren op het bestaan en juistheid van 
50 elektronische telregistraties van de papieren stembiljetten. 

Stel, er wordt 1 foutieve registratie gevonden. Op dat moment kan niet met voldoende 
betrouwbaarheid worden gezegd dat de foutenmarge onder de 3% ligt (letterlijk: de 
kans op maximaal 1 fout in 100 controles als de foutenmarge al 3% is, is groter 
dan 100% — 95% = 5%). Op dat moment wordt er besloten om deze specifieke 
stemmenteller niet verder te gebruiken en om tot een handtelling over te gaan. 


1 Inleiding 

In 2007 heeft het kabinet besloten om het stemmen met stemmachines/stemcomputers niet 
meer toe te staan. Sindsdien wordt in Nederland met een rood potlood en papier gestemd 
en worden de stembiljetten handmatig geteld. 

In opdracht van minister Plasterk van Binnenlandse Zaken en Koninkrijksrelaties heeft 
de commissie Van Beek in 2013 onderzocht of en hoe er (opnieuw) elektronisch gestemd 
kan worden. De commissie Van Beek concludeerde in zijn rapport “Elke stem telt” in 
december 2013 dat de tijd rijp is om weer elektronische apparatuur te gebruiken bij het 
stem- en telproces. De commissie stelt voor, in navolging van de commissie Korhals Altes, 
een stemprinter en stemmenteller in te voeren. In het concept van de commissie is de kiezer 
verantwoordelijk voor het controleren van het stembiljet, i.e., komt wat er geprint is overeen 
met wat de kiezer heeft willen kiezen? Het stembureau is in dit concept verantwoordelijk 
voor het controleren van de juiste werking van de stemmenteller. 

Het kabinet heeft hier in maart 2014 op gereageerd door aan te kondigen de voorstellen 
van de commissie op de haalbaarheid te zullen onderzoeken. In september 2014 heeft minis¬ 
ter Plasterk van Binnenlandse Zaken en Koninkrijksrelaties (BZK) de commissie Van Beek 
aanvullende vragen gesteld over het beveiligingsniveau, het invoeringstijdpad en de kosten 
van de stemprinter en stemmenteller die zij heeft geadviseerd in te voeren. De minister 
wil weten wat de gevolgen zijn van het door de commissie voorgestelde beveiligingsniveau 
van de stemprinter en de stemmenteller. Het gaat bijvoorbeeld om de complexiteit en 
risico’s van het ontwikkelingstraject van de systemen, het geschetste invoeringstijdpad en 
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de kosten. 

In november 2014 heeft de commissie Van Beek de ondergetekende benaderd om de 
haalbaarheid van een statistische controle van de stemmenteller te bestuderen. Dit docu¬ 
ment bevat een statistisch advies, waarbij formele juistheid, eenvoud Sz transparantie en 
practische haalbaarheid een belangrijke rol hebben gespeeld. Het stuk is echter beschrij¬ 
vend van aard en de keuze welke foutenmarge en detectie kans gekozen zouden moeten 
worden, wordt overgelaten aan de commissie. 


2 Controle van de stemmenteller 

In de voorstellen van de commissie Van Beek worden er twee nieuwe componenten in het 
stemproces ingevoerd: 

1. Allereerst wordt het stemmen met een rood potlood op een papieren stembiljet ver¬ 
vangen door het maken van een keuze op de stemprinter dat vervolgens een papieren 
stembiljet met daarop de gemaakte keuze uitprint. De kiezer deponeert vervolgens, 
net zoals nu, het papieren stembiljet in de stembus. 

2. Na het sluiten van de stembus worden de papieren stembiljetten eerst uitgevouwen, 
gestapeld en vervolgens gescand met gebruikmaking van de stemmenteller. De stem¬ 
menteller moet op elk papieren stembiljet printen wat er gescand is. De stemmenteller 
genereert vervolgens een telresultaat waarin de gescande stemmen worden vermeld 
plus het totaal van de uitgebrachte stemmen per lijst en het totaal van de uitge¬ 
brachte stemmen per kandidaat. Ook vermeldt het telresultaat het aantal blanco 
uitgebrachte stemmen. 

Het telresultaat van de stemmenteller zou in beginsel moeten overeenstemmen met 
het aantal toegelaten kiezers. Het aantal toegelaten kiezers bepaalt het stembureau door 
het aantal stempassen, kiezerspassen en schriftelijke volmachten op te tellen. Het aantal 
toegelaten kiezers en het aantal uitgebrachte stemmen (geldig plus ongeldig) moet gelijk 
zijn. Als het aantal niet gelijk is moet, conform de huidige regelgeving en telinstructie, 
het stembureau opnieuw tellen. Blijft ook na het opnieuw tellen er een verschil bestaan 
dan dient het stembureau in het proces-verbaal daar een verklaring voor te geven. De 
processen-verbaal van de stembureaus vormen de basis voor het centraal stembureau om 
de uitslag van de verkiezing te bepalen. Het centraal stembureau kan besluiten om een 
hertelling te laten uitvoeren in een, enkele of alle stembureaus. 

Dit document gaat louter in op de controle van de met de stemmenteller getelde papieren 
stembiljetten. De vraag die we zullen beantwoorden in dit rapport kan als volgt worden 
geformuleerd: 

Hoe kan door middel van handmatige steekproeven statistisch worden gecon¬ 
troleerd dat de uitslag van de stemmenteller de juiste is, rekening houdend met 
de randvoorwaarden gesteld door het electoraal process? 
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Het is bovendien van belang dat keuze voor de statistische methode zowel kan wor¬ 
den toegepast op gemeenteraadsverkiezingen (GR), provinciale statenverkiezingen (PV), 
Tweede Kamerverkiezingen (TK), verkiezing van de leden van het Europees Parlement 
(EP) en raadgevende referenda. 

2.1 Fouten in het telprocess 

Op dit moment worden stemmen uitgebracht op een groot stembiljet dat met een rood 
potlood wordt ingekleurd. Bij het tellen van dit stembiljet worden fouten gemaakt. Er zijn 
meerdere oorzaken voor die fouten, zoals het formaat van het stembiljet, de vele kandidaten, 
de stappen die moeten worden doorlopen bij het tellen, etc. Er is geen onderzoeksmateriaal 
beschikbaar aan de hand waarvan zou kunnen worden vastgesteld of deze fouten al dan 
niet systematisch van aard zijn. Staatssecretaris Bijleveld-Schouten gaf destijds, naar 
aanleidingen van telfouten bij de gemeenteraadsverkiezingen in maart 2010, aan niet te 
weten wat de foutenmarge was in handmatige tellingen [Tweede Kamer]. 

Tegen deze achtergrond wordt nu voor gesteld om de papieren stembiljetten elektronisch 
te tellen door middel van een stemmenteller. De kwaliteitseisen aan deze stemmenteller 
zouden in beginsel moeten waarborgen dat de stemmenteller functioneel correct zal werken. 
Echter ook een correct werkende stemmenteller zal niet alle stembiljetten altijd correct 
tellen. Dat is inherent aan de scantechnologie. Daarnaast is er de dreiging dat de werking 
van de stemmenteller gemanipuleerd zou kunnen worden en dat de stemmenteller als gevolg 
daarvan niet correct de papieren stembiljetten verwerkt. 

Aangezien de commissie transparantie en controleerbaarheid van het telproces voorstaat 
is het van belang dat er bij iedere verkiezing een onafhankelijke toets komt die vaststelt of de 
gebruikte stemmenteller correct de papieren stembiljetten heeft verwerkt. Het onderscheid 
of het hierbij gaat om gerichte manipulatie van buiten, een technisch mankement of een 
softwarefout, is in principe irrelevant voor dit document en zullen ieder gewoonweg als fout 
worden aangemerkt. 

In principe kunnen er twee soorten fouten worden gemaakt: 

1. Een uitgebrachte stem wordt door de stemteller ten onrechte aan een andere partij 
of een andere kandidaat toegewezen, of niet geregistreerd. 

2. De stemmenteller telt een stem, waar nooit een stem is uitgebracht. 


2.2 Toetsen op fouten 

De persistentie van papier stembiljetten maakt het mogelijk om het resultaat van de stem¬ 
ming te toetsen op numerieke juistheid. Dit kan gebeuren voor een TK, EP, PV, GR en 
raadgevende referenda. Om de statistische toets schaalbaar te maken voor elk soort ver¬ 
kiezing over verschillende groottes van gemeenten kiezen wij in dit document ervoor om 
de kleinste eenheid, i.e. de individuele stemmenteller, het object van de toets te maken. 
Daar zijn in principe een aantal mogelijkheden voor. We bespreken hier twee mogelijke 
steekproef scenario’s. 
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1. Tellende Toets. Een toevalssteekproef over de hele verkiezingseenheid met als doel 
om te controleren of de waargenomen stemratio’s door de elektronische stemmenteller 
overeenstemmen met de ratio’s in de handgetelde toets. 

2. Controlerende Toets. Een toevalssteekproef over de hele verkiezingseenheid met 
als doel om te controleren of er fouten, zoals bijvoorbeeld beschreven in de vorige 
paragraaf, zijn gemaakt. 

Het nadeel van de eerste soort van toets, i.e. de Tellende Toets, is dat de steekproef- 
grootte in principe afhangt van de relatieve fracties van de waargenomen stemmen door 
de elektronische stemmenteller. Dit maakt het fundamenteel onmogelijk om vooraf een 
steekproefgrootte vast te stellen, zonder extra aannames. Zulke aannames zijn natuurlijk 
wel mogelijk — bijvoorbeeld, als als stemeenheid het hele land wordt genomen in het geval 
van een TK verkiezing, dan zouden onder bepaalde aannames het mogelijk zijn om een 
steekproefgrootte vooraf te bepalen om de verdeling van de restzetel mogelijk te maken 
[Gill, 2013]. Het is echter erg lastig om aannames te maken die zowel voor TK of EP 
verkiezingen, en ook voor PV, GR of raadgevende referenda gelden. 

De tweede soort van toets is conceptueel eenvoudiger. Het controleert enkel en alleen 
of en hoeveel fouten er zijn gemaakt door de stemmenteller. Dit kunnen fouten zijn zowel 
van de eerste (i.e. het toewijzen van stemmen aan de verkeerde of geen enkele partij of 
kandidaat) als tweede (i.e. het tellen van spookstemmen, d.w.z. stemmen waarvan geen 
overeenkomstig papieren stembiljet bestaat) soort zijn. Een nadeel van deze tweede soort 
toets dat het geen onderscheid maakt in de type fout die gemaakt wordt. Een systematische 
fout in de stemmenteller kan in principe niet worden onderscheiden van een willekeurige 
fout: een stemmenteller die eens in de 100 stembiljetten een willekeurige fout maakt is in 
de controlerende toets even goed als een stemmenteller die de stemmen van een kandaat 
met 1% van de stemmen systematisch aan een andere kandidaat toeschrijft. 

Voorlopig hebben leden van de commissie Van Beek aangegeven (in een direct gesprek 
met ondergetekende, 7/11/2014) een Controlerende Toets te prefereren. Het is belangrijk 
om hierbij te realiseren dat de doorzichtigheid van een Controlerende Toets in bepaalde 
gevallen een grotere steekproefgrootte tot gevolg zal hebben, met name voor TK en EP 
verkiezingen — hoeveel groter hang af van de omstandigheden. Daartegenover staat dat 
de Controlerende Toets inherent eenvoudiger en inzichtelijker is dan een Tellende Toets. 

2.3 Kansen op fouten 

Er zijn drie kansen die in ogenschouw moeten worden genomen. In deze paragraaf leggen 
we uit wat deze drie kansen zijn en hoe zij de grootte en werking van de Controlerende 
Toets beinvloeden. 

Staatssecretaris Bijleveld-Schouten heeft destijds aangegeven een foutenmarge van 0% 
na te streven [Tweede Kamer]. Dit streven is door de commissie Van Beek vertaald door 
hoge eisen aan de stemmenteller te stellen. Echter, om te weten of de stemmenteller ook 
werkelijk een foutenmarge van 0% haalt, zou iedere geregistreerde stem en ieder geprint 
stembiljet moeten worden gecontroleerd door de Controlerende Toets. Als men echter 
bereid is om een kleine foutenmarge toe te staan, dan hoeven niet alle biljetten te worden 
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gecontroleerd. De toegestane foutkans wordt vaak de marge genoemd. Het is belangrijk 
dat de hoogstwaarschijnlijk kleine foutenmarge die wordt nagestreefd door de makers van 
stemmenteller (en die gedeeltelijk inherent is aan de scantechnologie) wordt onderscheiden 
van de foutenmarge die de Controlerende Toets wordt geëist te detecteren. In dit stuk 
hebben we het over deze laatste kans 

Foutenmarge (m). De toegestane fractie van foutieve tellingen door de stem¬ 
menteller. 1 

Vanaf nu zullen we met uitdrukking “Stemmenteller OK” bedoelen dat de foutenmarge 
onder m ligt voor die individuele stemmenteller. Een stemmenteller waar iets mee mis 
is (“Stemmenteller fout”) betekent een stemmenteller met foutenmarge boven de m. Als 
er een steekproef wordt genomen, waarna een beslissing volgt over het al dan niet goed 
werken van de stemmenteller, dan zijn er in principe vier mogelijke uitkomsten mogelijk, 
aangegeven in de volgende tabel. 


Steekproef 

_ OK verdacht 

Stemmenteller OK Goed Fout 1 
Stemmenteller fout Fout 2 Goed 


In tegenstelling tot het gebruikelijke hypothese toetsen, zoals gebruikt in de wetenschap 
of farmaceutische industrie, is de burger voornamelijk geïnteresseerd in de kans op de fout 
van de tweede soort, namelijk, 

Kans op Fout 2 (/?). De waarschijnlijkheid dat de steekproef niet detecteert 
als er werkelijk iets mis is met de stemmenteller. 

In principe zouden we graag deze kans zo klein mogelijk willen houden. Dat wil zeggen, 
als een bepaalde stemmenteller een foutenmarge heeft die hoger is dan m, dan zouden we 
dit zo graag met 100% zekerheid willen vaststellen. In principe zou dan de hele stembus 
met de hand gecontroleerd moeten worden in een Controlerende Toets. Als men bereid is 
om een foutenmarge die groter is dan m niet te detecteren met een kleine kans /?, dan kan 
de omvang van de Controlerende Toets worden verkleind. 

Een mogelijke uitkomst van de Controlerende Toets is dat de stemmenteller foutief lijkt 
te werken en dat derhalve de telling met de hand moet worden overgedaan. Natuurlijk 
is het onwenselijk om tot een handtelling over te gaan als de foutenmarge toch binnen 
de perken is gebleven zoals hij hierboven gesteld is. De mate van onwenselijkheid wordt 
beschreven de kans van de eerste soort: 

Kans of Fout 1 (a). De waarschijnlijkheid dat de steekproef zegt dat er iets 
mis is met de stemmenteller, terwijl dit niet het geval is. 

x De werkelijke foutenmarge is de theoretische fout inherent aan de stemmenteller. Alleen als de Con¬ 
trolerende Steekproef erg groot is, komt deze overeen met de relatieve fractie van het aantal gedetecteerde 
fouten. 
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Hoewel het mogelijk is om pas over te gaan tot een volledige handtelling als de Controle¬ 
rende Steekproef minimaal een bepaald aantal foutieve registraties heeft gevonden en op 
die manier de kans a beperkt te houden, heeft de commissie aangegeven om in het belang 
van eenvoud dit achterwege te willen laten. 


3 Risicomijdende controlerende steekproef 

In de voorafgaande paragraaf zijn drie kansen op fouten benoemd. 

1. Ten eerste is er de mogelijke fysische fout van de stemmenteller zelf. Dat wil zeggen, 
de relatieve fractie m van stemmen die het verkeerd toewijst aan kandidaten en/of 
partijen of de relatieve fractie m van geregisteerde stemmen door de stemmenteller 
die niet overeenkomen met een fysiek stembiljet. 

2. Vervolgens zijn er twee statistische fouten, geassocieerd met de nauwkeurigheid met 
de steekproef, i.e., 

(a) de non-detectie kans /3 dat de stemmenteller op basis van de steekproef ten 
onrechte goed functionerend wordt bevonden (fout 2); 

(b) de kans a dat de stemmenteller op basis van de steekproef ten onrechte foutief 
wordt bevonden (fout 1). 

Door middel van grote Controlerende Steekproeven is het in principe mogelijk om een 
willekeurig kleine foutenmarge m van de stemmenteller te ontdekken met een willekeurige 
precisie (1 — /3). De commissie heeft besloten om ter wille van de eenvoud de kans a 
niet verder te willen controleren. Dit betekent dat zodra de Controlerende Steekproef 
een stemmenteller niet met precisie 1 — /3 kan zeggen dat de marge onder de m ligt, er 
automatisch zal worden besloten tot een handtelling. 

De statistische techniek om deze fouten te beheersen is ontwikkeld en beschreven in 
Stark [2008], Lindeman and Stark [2012] en wordt de risicomijdende controletellingen ge¬ 
noemd. Het is toegepast in California en kan worden aangepast aan de Nederlandse situa¬ 
tie. Gill [2013] beschrijft een mogelijke toepassing van deze methodologie op landelijk TK 
niveau. In deze notitie geven we een beschrijving op het niveau van de individuele stem¬ 
menteller. In tegenstelling tot Stark [2008], Lindeman and Stark [2012] en Gill [2013] zullen 
wij de marge m in eerste instantie niet direct verbinden aan de uitslag van de verkiezingen, 
maar aan een acceptabel niveau voor een stemmenteller. 

Het achterliggende idee van de risicomijdende controletellingen is om een steekproef ter 
grootte van n stembiljetten te doen en het aantal afwijkingen te tellen ten opzichte van de 
elektronische stemmenteller. 2 Vervolgens worden twee scenarios onderscheiden: 

2 De steekproefgrootte n volgt uit een gekozen combinatie van toegestane marge m, de toegestane non- 
detectie kans 8 en het aantal toegestane gevonden afwijkingen. Om de steekproefgrootte zo klein mogelijk 
te houden, zullen we geen enkele gedetecteerde afwijking toestaan in de steekproef. 
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• Aantal afwijkingen = 0. Het aantal afwijkingen van de controlerende steekproef 
ten opzichte van de elektronische uitslag is dusdanig klein, dat 

P(aantal afwijkingen = 0 terwijl foutenmarge stemmenteller > m) < f3, 

de kans dat er geen fouten worden waargenomen terwijl de stemmenteller net niet 
acceptabel presteert, klein is. Derhalve kan worden aangenomen dat de stemmenteller 
correct werkt. In dat geval zal de elektronische uitslag worden geaccepteerd en als 
zodanig worden doorgegeven aan een centrale instantie. 

• Aantal afwijkingen = C > 1. Het aantal afwijkingen van de controlerende steek¬ 
proef ten opzichte van de elektronische uitslag is dusdanig groot, dat 

P(aantal afwijkingen < C terwijl foutenmarge stemmenteller > m) > 0, 

de kans dat er zo veel fouten worden waargenomen consistent is met een stemmenteller 
die niet acceptabel presteert. Derhalve wordt er — mogelijkerwijze foutief, maar voor 
de zekerheid aangenomen dat de stemmenteller niet correct werkt, en zal er worden 
overgegaan op een handmatige telling van de hele stembus. 

3.1 Toevalssteekproef 

De gehele analyse is gebaseerd op het feit dat er zowel een toevalssteekproef 3 getrokken kan 
worden uit de stembiljetten als uit de elektronische stemuitdraai. Vanuit een practische 
standpunt stellen wij voor om de volgende procedure aan te houden: 

1. Een centrale onafhankelijke instantie presenteert elk stembureau met een gesloten 
en verzegelde envelop met random gegenereerde volgnummers. Omdat stembureaus 
verschillende aantallen stemmen te verwerken krijgen worden er verschillende lijsten 
geleverd, waarbij de getrokken getallen variëren van 1 tot en met verscheidene maxima 
(e.g. 500, 750, 1000, 2000, 3000, 5000). 4 

2. Het stembureau kiest de envelop met random getallen dat behoort bij het kleinste 
maximale nummer dat groter is dan het aantal uitgebrachte stemmen. Iedere envelop 
bevat twee lijsten met getallen: een die hoort bij de fysieke stembiljetten en een die 
hoort bij de stemmenprinteruitdraai. 

3. Er vinden twee type controles plaats: een controle van een aantal fysieke stembiljetten 
volgens de ene lijst en een controle van een aantal stemregistraties op de telstrook 
volgens de andere lijst. Het aantal controles voor iedere lijst is gelijk aan het aantal 
zoals gegeven in tabel 1. 

3 Wat ten alle tijden moet worden vermeden is om de keuze van de steekproef uit te voeren op een 
systematische wijze (bijvoorbeeld “elke tiende stembiljet”) of willekeurige wijze (bijvoorbeeld “her en der 
wat stembiljetten controleren”). Deze wijze van sampelen speelt mogelijkerwijs een systematische fout in 
de kaart en bovendien invalideert alle probabilistische berekeningen die in deze notitie worden uitgevoerd. 

4 Het aantal stemmen dat per stembureau wordt uitgebracht kan enorm verschillen: van een paar 
honderd tot wel een paar duizend. De berekeningen hangen echter in geen enkele wijze af van het aantal 
uitgebrachte stemmen. Wel van belang is de grootte van de steekproef. De groter de steekproef, de groter 
de zekerheid over de werkelijke foutenmarge van de stemmenteller. 


8 



(a) Tellend vanaf het bovenste stembiljet worden precies die stembiljetten gecon¬ 
troleerd die overeenkomen met de random nummers in de eerste lijst. Voor de 
controle van een fysiek stembiljet moet worden gekeken of de stem geregistreerd 
is en wel voor de juiste kandidaat en partij. 

(b) Tellend van de bovenste stemregistratie worden precies die registraties gecon¬ 
troleerd die overeenkomen met de random nummers in de tweede lijst. Bij elke 
telregistratie moet het corresponderende biljet in de stapel gezocht worden en 
de tekst op het biljet moet overeenkomen met de tekst op de telstrook. 

4. Voor ieder van de twee controles geldt dat nummers op de lijst die groter zijn dan 
het totale aantal stembiljetten en elektronische registraties, respectievelijk, worden 
overgeslagen, net zo lang totdat de hele steekproef is vervuld. 

In het onderstaande noemen we de steekproefgrootte n en definiëren de variabele, 

T n = aantal gevonden afwijkingen van stemmenteller t.o.v. steekproef ter grootte n. 

Een afwijking is gedefinieerd als, 

• een papieren stembiljet in de steekproef die niet geteld is door de stemmenteller. 

• een papieren stembiljet in de steekproef die aan de verkeerde partij of kandidaat 
is toegekend. (Deze fout kan mogelijkerwijs worden geteld als twee afwijkingen, 
namelijk een fout bij de niet-gekozen partij/kandidaat en een fout bij de gekozen 
partij/kandidaat. Deze definitie wordt door Lindeman and Stark [2012] aangehangen. 
Wij zien het in deze notitie als een afwijking, met name omdat we in eerste instantie 
niet naar de effecten van de fout op de uitslag kijken, maar naar de foutenmarge van 
de stemmenteller zelf.) 

• een elektronisch geregistreerde stem die niet voorkomt als papieren stembiljet. 

3.2 Aanbevelingen voor steekproefgrootte 

We precisieren nu de oorspronkelijke onderzoeksvraag als volgt: 

Hoe groot moet de steekproef zijn om er met kans 1 — /? zeker van te zijn dat 
een stemmenteller met foutenmarge m wordt gedetecteerd. 

Om de steekproef zo klein mogelijk te houden, zal een stemmenteller alleen 
als betrouwbaar worden bestempeld als er in de steekproef geen afwijkingen 
worden gevonden. De totale steekproefgrootte kan worden bepaald via de volgende 
formule, 

log ft 

U log(l - m) ‘ 

Voor iedere afzonderelijk controle moet de steekproefgrootte door tweeë worden gedeeld 
en worden afgerond naar boven. In tabel 1 staan de noodzakelijke steekproefgroottes 
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voor ieder van de twee afzonderlijke controles, i.e. de controle van de stembiljetten en de 
controle van de elektronische registraties om een bepaalde detectie kans van een foutief 
functionerende stemmenteller te behalen. Bijvoorbeeld, als de steekproefgrootte gelijk is 
aan 50 van beide controles, dan is de kans 95% om een stemmenteller met foutenmarge 
van 3% te detecteren. 
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marge 

detectie kans 

steekproef 

m 

1-/3 

grootte 

0.005 

0.995 

529 


0.990 

460 


0.970 

350 


0.950 

299 


0.900 

230 

0.010 

0.995 

264 


0.990 

230 


0.970 

175 


0.950 

150 


0.900 

115 

0.020 

0.995 

132 


0.990 

114 


0.970 

87 


0.950 

75 


0.900 

57 

0.030 

0.995 

87 


0.990 

76 


0.970 

58 


0.950 

50 


0.900 

38 

0.040 

0.995 

65 


0.990 

57 


0.970 

43 


0.950 

37 


0.900 

29 

0.050 

0.995 

52 


0.990 

45 


0.970 

35 


0.950 

30 


0.900 

23 

0.100 

0.995 

26 


0.990 

22 


0.970 

17 


0.950 

15 


0.900 

11 


Tabel 1: De noodzakelijke steekproefgrootte voor zowel de controle van de stembiljetten als 
van de controle van de elektronische telregistraties om een stemmenteller met foutenmarge 
m met betrouwbaarheid 1 — /3 te detecteren. Alleen steekproeven zonder waargenomen 
afwijkingen leiden tot acceptatie van de elektronische stemmentelling. Als er afwijkin¬ 
gen worden gevonden in een van de twee controles (of beiden) dan zal dit leiden tot een 
handtelling. 
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